随机动量传输与廉价预测器
🧭 训练优化 · 随机动量传输
Machine Learning and Optimization Laboratory (MLO), EPFL
提出随机化动量传输，以概率 q 评估梯度修正并用廉价预测替代，在保持 O(T^-1/3) 收敛下显著降低 oracle 调用成本
📌 工作参考价值（4 点）
- 在大模型/推荐模型训练中，二阶动量或梯度修正（如 HVP）计算昂贵，可借鉴随机化加权估计：以概率 q 触发精确修正，其余步用廉价预测（如在线对角预测器），用重要性权重保持条件均值。
- 若采用 STORM 类优化器，当梯度差噪声模大于光滑常数时，设置 q<1 反而降低收敛首项系数（最多约 10%），可提供调节 q 的理论依据，降低训练成本同时性能不降。
- 实验表明同等 oracle 预算下，q=1/4 的随机修正降低训练 loss 18-43%，提升 CIFAR-10 HVP 精度 1.5 点；在电商大模型训练中可先在小任务上验证并调整 q，减少 GPU/TPU 前向与通信开销。
- 在线对角预测器有 regret-to-convergence 保证，适合线上实时训练推荐模型的连续更新场景。
何时需要在线蒸馏？离线学生轨迹蒸馏常更优
🧭 LLM 蒸馏策略 · 在线 vs 离线 rollout
Semi-OPD 用初始学生离线 rollout 蒸馏，在 17 对模型上 14 对优于 OPD，最高 +13.6% 精度、11.4 倍加速
📌 工作参考价值（4 点）
- 做 LLM teacher→student 蒸馏（如 query 改写 / 商品文案 / Agent 策略小模型）时，先别默认 OPD。用一批 hold-out prompt 统计初始师生输出的 top-64 token overlap；若 overlap 不高（论文中多数 < 90%），直接用初始学生离线 rollout 的 Semi-OPD，精度更稳且省 GPU。
- 离线 rollout 可以预生成、缓存、复用，训练时只用固定数据，天然适合电商/广告的离线训练流水线；Semi-OPD 相对 OPD 最高 11.4 倍加速，H100 成本明显下降。
- 若业务必须用 OPD（如需要在线探索），先做 warm start 让学生与老师输出分布接近；否则学生 rollout 随上下文增长会越来越 off-policy，蒸馏信号退化。
- 可以把 token overlap ratio 作为轻量监控指标，在启动蒸馏前判断 OPD 是否值得，避免盲目投入 GPU。
通过规范校正通道移除实现 Transformer 稠密结构化压缩
🧭 训练期结构化压缩与架构搜索 ★ 深度解读
Université d’Artois, CNRS, CRIL UMR 8188, Lens, France
训练期用对称 group-lasso 惩罚解决 gauge 自由度，在保留 dense tensor 下动态压缩 Transformer，最高 255 倍 FMA 压缩且精度不降
📌 工作参考价值（4 点）
- 部署推荐/广告 Transformer 时，可优先考虑训练期自适应压缩而非后剪枝：论文证明同样的 utility 度量在后剪枝上失败或显著变差，持续压缩压力会促使网络学到更高效的表征，而不仅删除冗余。
- 如果业务模型含 SwiGLU MLP、attention 等 gauge-connected 结构，可借鉴 additive symmetric group-lasso 惩罚：同时对两侧 factor 做 Frobenius-norm 惩罚，避免直接惩罚 product norm 导致的梯度消失和不稳定；按每通道实际 FMA/参数规模校准 penalty，能把「效用/算力」统一到同一尺度。
- 工程上实现物理 channel removal 而非 mask 稀疏：用 gauge Sinkhorn 先平衡、再 trust-drop 移除整 slice，缩小后的 dense tensor 在 GPU 上保持高吞吐，减少稀疏算子低效；这适合做粗粒度 tower 压缩或小规模重训模型。
- 自适应 ρ 由 loss target 驱动压缩强度，实现较平滑的「先达标再压缩」过程，可作为业务中自动搜架构、控制性能下限的参考；但该理论目前只在 <150M FMA 从零训练任务上验证，迁移到大模型或预训练权重需谨慎。
无CoT数据下推理后训练：混合SFT优于下一块推理RL
🧭 推理后训练 · 数据混合与RLVR ★ 深度解读
University of Science and Technology of China · Shanghai AI Laboratory
同一RLVR预算下，单阶段混合no-CoT与long-CoT的SFT比next-chunk reasoning RL效果更好且省60倍以上算力
📌 工作参考价值（4 点）
- 将高质量 long-CoT 与业务中大量“无 CoT”文本（搜索日志、运营方案、商品知识、用户问题简答）在同一个 SFT 阶段混合训练，再做 RLVR/DPO；不要先无 CoT 后 long-CoT 的顺序 SFT，否则会跨阶段遗忘。适合电商/Agent 中难以标注 CoT 但知识密度高的语料。
- 评估 Agent 推理、query 理解、推荐理由生成等能力时，不要只看 SFT 后中间 checkpoint；无 CoT 混合会造成格式混乱，pre-RLVR 掉点不代表能力差，应以 RLVR 后的最终 ceiling 做决策。
- 若想用 next-chunk reasoning 类 RL 从日志/文档中挖掘隐式推理，注意高熵 token ≠ 需要推理的困难 token；这类目标易塌缩为局部补全模板，且训练算力是混合 SFT 的 60 倍以上。优先把预算花在数据混合而非新增 RL 阶段。
- 对搜索/推荐/导购 Agent：保留短答案 + 长推理的联合 SFT 格式，后续用 verifier reward 修复格式不稳定，比中途切换训练目标更有效。
DICS：面向决策树分类器的数据驱动质心分裂方法
🧭 决策树分裂搜索加速 · 训练效率优化
Department of Mathematical Sciences, University of Texas at El Paso
用聚类构建类感知的紧凑候选分裂集，大幅缩小分裂搜索空间，加速决策树训练且精度不降
📌 工作参考价值（4 点）
- 在电商/广告排序常用的 GBDT（LightGBM/XGBoost）训练中，可借鉴 DICS 思路：对高基数数值或类别特征先做聚类，用聚类质心作为候选分裂点，替代逐值扫描或直方图分桶的固定候选，有潜力进一步降低分裂增益计算量。
- 类感知的质心分裂能保留判别信息，适合处理类别不平衡或特征与标签强相关的场景，例如 CTR 预估中的用户行为计数特征、商品价格等连续特征。
- 该方法可作为特征预处理步骤集成到现有树模型训练框架中，对训练数据采样聚类得到候选分裂集，再交给树模型搜索，工程实现上只需增加一次聚类开销，换来后续所有节点分裂搜索空间减小。
- 注意 DICS 的理论保证依赖假设，实际落地时需在小规模数据上验证精度损失；若精度敏感，可结合已有直方图方法做混合候选集。
SLORR：简单高效的低秩正则化框架，实现训练中压缩友好
🧭 训练时低秩正则化压缩
Max Planck Institute for Intelligent Systems · University of Tübingen · ELLIS Institute Tübingen · Tübingen AI Center
在训练中施加低秩正则化，使模型压缩后更易保持性能，训练开销极低
📌 工作参考价值（4 点）
- 推荐模型训练时加入低秩正则化，可提升后续低秩分解压缩的质量，减小推理开销，且不改变模型结构，易于在现有Pipeline中插入。
- 使用Hoyer近似或核范数近似，避免直接计算SVD，计算开销低（LLM训练中<1%），适合大规模推荐模型或Agent模型的训练。
- 对于基于LLM的生成式推荐（GenRec），在预训练阶段施加SLORR，后续压缩时能更好保留语义ID生成质量。
- 无状态、架构不变的设计，可将其作为插件添加到现有训练流程，用于任何权重矩阵的低秩偏好学习。
线性注意力架构对比与跨层路由
🧭 线性注意力架构对比与跨层路由
ETH Zurich, D-INFK · ETH AI Center, ETH Zurich
比较四种递归线性注意力并提跨层值路由，Kimi Delta Attention+Muon损失最低
📌 工作参考价值（4 点）
- 推荐模型处理长用户行为序列时，可用 Gated DeltaNet 等线性注意力替换标准注意力，降低计算复杂度，支持更长序列建模，提升训练吞吐。
- 跨层值路由（CLVR）提供廉价的信息跨层传递方式，可借鉴至深度推荐模型（如多塔、DeepFM）中，将底层值张量路由到高层，增强信息流动。
- 优化器选择：Muon 在相同架构下比 AdamW 验证损失更低，若任务侧重点效果可尝试 Muon（注意稳定性）。
- 混合堆栈（部分标准注意力+部分线性注意力）平衡效果与效率，适合推荐序列编码器，上游用标准注意力捕获近期行为，下游用线性注意力处理长历史。
TurnOPD：让在策略蒸馏感知轮次以实现高效长时智能体训练
🧭 在策略蒸馏的轮次感知预算优化
复旦大学 · 腾讯混元
通过轮次级预算策略解决长时智能体训练中全轮次 rollout 浪费与令牌级损失偏向浅层的问题
📌 工作参考价值（4 点）
- 自适应 rollout 深度：可借鉴到电商对话 Agent 训练，当模型在多轮交互中已产生足够确定性决策时提前终止 rollout，节省推理时间，适合在线学习场景。
- 渐进式轮次归一化损失：解决序列开头 token 损失占比过高的问题，让训练更关注中后段的关键决策点，适用于需要多步工具调用或搜索推理的推荐/购物助手 Agent。
- 探针统计指导预算分配：通过简单探测动作分布决定是否继续 rollout，这一思路可复用到流式训练资源调度中，动态决定分配给不同样本的计算量。
- 基于壁钟时间的公平比较：该评估方式对业务系统有启示，实际部署更关心训练时间而非采样数，优化壁钟效率比仅看样本效率更有工程价值。
一层就够了？训练单个Transformer层可匹配全参数RL训练
🧭 RL训练效率 · 层贡献分布
University of Minnesota · Peking University · Amazon
LLM的RL后训练增益高度集中于中间少数层，单层训练即可恢复甚至超越全参数训练效果
📌 工作参考价值（4 点）
- 在大模型推荐/Agent微调中，若使用RL（如GRPO），可优先仅更新中间层，训练参数量降至1/12~1/8，显存与时间成本大幅降低，效果不降甚至反升。
- 层贡献排名在跨任务、跨模型上高度稳定，可预先对模型做一次层贡献分析，固定高贡献层，后续微调任务均只更新这些层，实现轻量级多任务适配。
- 结合LoRA等参数高效方法时，不必在全层应用，可只在贡献值高的中间层插入适配器，减少可训练参数且保持性能。
- 对于需要部署多个RL微调变体（如个性化推荐策略）的场景，可训练不同层组合再集成，利用层特化提升综合决策质量。
仅需极少量 RLVR 训练：通过秩-1 轨迹外推 LLM
🧭 RLVR 训练效率优化 · 参数轨迹外推
University of Virginia · Washington University in St. Louis
发现 RLVR 参数轨迹是低秩且线性的，提出 RELEX 只需 15% 训练步数即可外推高质量 checkpoint
📌 工作参考价值（4 点）
- 在线学习/RL 调优的早期停止：在电商推荐、Agent 策略的 RL 微调中，监控参数更新矩阵的秩，若观察到类似秩-1 结构，可大幅压缩训练步数，直接外推后续 checkpoint，节省算力。
- 低资源快速实验：仅需短窗口（如 15% 步数）和简单 SVD+线性回归，无需额外训练即可获得完整训练的近似模型，适合快速迭代验证想法。
- 模型合并与聚合中的去噪：秩-1 投影可滤除随机优化噪声，这一思想可迁移到联邦学习的参数聚合或多臂老虎机策略合并，提高鲁棒性。
- 长期性能预测：在无法完整训练的场景（如在线 A/B 测试需快速决策），用少量步数的参数变化线性外推长期趋势，提前终止劣化方向。